В 1795 году в Молодово была построена усадьба, представлявшая собой длинное и прямоугольное одноэтажное кирпичное здание, но Шимону Скирмунту новый особняк показался слишком скромным или недостаточно просторным, поэтому он использовал его как хозяйственную постройку, сразу начав строительство дворца.
Его возведение было поручено архитектору Ван Гросу. И в 1798 году здесь появился кирпичный дворец, сохранившийся в неизменном виде до 1939 года. Это был прекрасный образец авангардной архитектуры того времени. Весь дворец был выкрашен в белый цвет. Шатровая крыша изначально была покрыта черепицей, но в начале двадцатого века ее перекрыли цинковыми листьями.
Комнаты и залы дворца украшали парадные портреты предков Огинских и Скирмунтов, живопись европейских мастеров, гобелены, старинная мебель. Вокруг разбит парк в английском стиле.
В 1943 году в период немецкой оккупации дворец и другие усадебные постройки сгорели и были окончательно разобраны в послевоенное время. От всего усадебного комплекса сохранилась лишь часовня-ротонда (которая была построена в 1905-1908 гг) и несколько фамильных надгробий Скирмунтов рядом с ней.
Сегодня мы можем увидеть как выглядел дворец Скирмунтов с рисунков Наполеона Орды, фотоснимков конца 30-х годов прошлого века и в нашем «Лабиринте времени».